Родился в селе Чардахлы Елизаветпольской губернии (ныне Шамхорский р-н Азербайджан) в многодетной крестьянской семье.
После окончания пяти классов школы батрачил.
В 1924 г. вступил в комсомол, секретарь сельской комсомольской ячейки.
В сентябре 1925 г. призван в ряды Красной армии, направлен на учёбу в пехотную школу, дислоцированную в Ереване.
В сентябре 1926 г. переведён в Закавказскую пехотную школу, дислоцированную в Тбилиси.
В 1928 г. вступил в ряды ВКП(б).
В сентябре 1929 г. направлен в 7-й Кавказский стрелковый полк. Служил на должностях командира взвода, секретаря партбюро отдельного батальона и командира роты. Принимал участие в боевых действиях против бандформирований и антисоветских выступлений, был ранен.
В марте 1934 г. переведён в 3-й пулемётный полк в Баку. Служил на должностях, командира пулемётной роты, командира пулемётного батальона и помощника начальника штаба полка.
В октябре 1937 г. назначен на должность начальника 1-го отделения штаба пункта ПВО Закавказского военного округа в Баку.
В августе 1938 г. — начальник штаба 3-го пулемётного полка.
В октябре 1938 г. — помощник командира 2-го пулемётного полка (Ленинградский военный округ). Участвовал в советско-финской войне, был ранен (февраль 1940).
В декабре 1940 г. — заместитель командира 493-го стрелкового полка.
В январе 1941 г. — заместитель командира 751-го стрелкового полка (Северо-Кавказский военный округ).
В апреле 1941 г. — помощник начальника 1-го отделения оперативного отдела штаба 19-й армии.
С началом Великой Отечественной войны (1941-1945) Бабаджанян на Западном фронте.
С августе 1941 г. — командир 395-го стрелкового полка.
В октябре - ноябре 1941 г. участвует в оборонительных боях за Курск. В здании городской школы №5 располагался штаб полка, которым командовал А. Бабаджанян.
В начале июня 1942 г. А. Бабаджанян направлен на учёбу по ускоренному курсу при Военной академии имени М. В. Фрунзе.
В августе, по окончания курса, назначен на должность командира 3-й механизированной бригады, которая участвовала в Курской битве. Тогда 3-я механизированная бригада участвовала в тяжелых боях на Обоянском направлении, а сам Бабаджанян получил тяжёлое ранение.
В октябре 1943 г. 3-я механизированная бригада стала именоваться 20-я гвардейская механизированная бригада.
26 апреля 1944 г. Указом Президиума Верховного Совета СССР гвардии полковнику А. Х. Бабаджаняну присвоено звание Герой Советского Союза.
25 августа 1944 г. назначен на должность командира 11-го гвардейского танкового корпуса. За бои в Берлине, корпусу присвоено почётное наименование «Берлинский».
За время войны соединения под командованием А. Бабаджаняна 15 раз упоминались в приказах Верховного Главнокомандующего Вооружёнными Силами СССР И. В. Сталина.
В январе 1947 г. направлен на учёбу в Высшую военную академию имени К. Е. Ворошилова.
В 1948 г. по окончании академии, назначен на должность начальника штаба 2-й гвардейской механизированной армии.
В сентябре 1950 г. — командующий 2-й гвардейской механизированной армии
В мае 1956 г. — командующий 8-й механизированной армии.
3 августа 1953 г. присвоено звание генерал-лейтенанта танковых войск.
В 1956 г. принимал участие в Венгерских событиях.
С январе 1958 г. — 1-й заместитель командующего войсками и члена Военного совета Прикарпатского военного округа.
В июне 1959 г. — командующий Одесским военным округом.
С сентябре 1967 г. — начальник Военной академии бронетанковых войск имени Маршала Советского Союза Р. Я. Малиновского.
В мае 1969 г. — начальник танковых войск Советской армии и член Военного Совета Сухопутных войск.
29 апреля 1975 г. — Главный маршал бронетанковых войск СССР.
Политическая деятельность: депутат Верховного Совета СССР 6 и 7 созывов; депутат Верховного Совета РСФСР; депутат Верховного Совета Армянской ССР; член ЦК Коммунистической партии Украины.
В мемуарах (Дороги победы. М., 1971) А.Х. Бабаджанян писал "...Сознавая ответственность за обороняемые под Курском рубежи, советские войска дрались с удвоенной силой. Большое участие в оборонных мероприятиях принимало гражданское население Курска. Энтузиазм защитников города был так велик, что казалось, ни за что не быть Курску в руках неприятеля. Но врагу удалось обойти город с флангов и лишь тем заставить защитников Курска оставить его...".
Скончался в Москве. Похоронен на Новодевичьем кладбище.
Награды: четыре ордена Ленина, орден Октябрьской Революции, четыре ордена Красного Знамени, орден Суворова 1-й степени, орден Кутузова 1-й степени (18.12.1956), орден Суворова 2-й степени, орден Отечественной войны 1-й степени, два ордена Красной Звезды, орден «За службу Родине в Вооружённых Силах СССР» 3-й степени, медали. Иностранные награды: орден Возрождения Польши, орден Народной Республики Болгария с мечами.
А.Х. Бабаджанян — Почётный гражданин городов Ельня (Смоленская область, 1970), Залещики (Тернопольская область, Украина), Гдыня (Польша, 1972).
Имя Бабаджаняна носят улицы в Ереване, в Одессе, площадь в Москве, школа в Эчмиадзине, танковый полк в Нагорном Карабахе .
В Москве и Одессе на зданиях, где он жил, установлены мемориальные доски.
25 октября 2016 г. в память о А.Х. Бабаджаняне, на здании Курской школы №5 открыли мемориальную доску.